Anh Bố vốn là người huyện Lục thuộc quận Cửu Giang. Thời nhà Tần, ông là người áo vải nhà nghèo. Khi ông còn nhỏ, có người xem tướng ông và cho rằng, Anh Bố sẽ bị hình phạt rồi được làm vương.

Khi trưởng thành, Anh Bố bị tội và bị bắt đày đi Ly Sơn. Khi bị bắt, Anh Bố không những không buồn, lại cười hớn hở và cho rằng lời nói của thầy tướng có nghiệm và tin vào tương lại mình sẽ được làm vương. Vì vậy mọi người nghe đều cười nhạo ông.

Do Anh Bố bị hình phạt chạm chữ vào mặt nên mặt ông bị sẹo và bị mọi người gọi là Kình Bố[1].

Trong thời gian bị đi đày, Anh Bố giao kết với những người cầm đầu trong đám tù bị đày và những người hào kiệt. Được một thời gian, ông cầm đầu những người này bỏ trốn, đến sông Dương Tử làm thành một toán cướp.